WayFAST: Navigation with Predictive Traversability in the Field

We present a self-supervised approach for learning to predict traversable paths for wheeled mobile robots that require good traction to navigate. Our algorithm, termed WayFAST (Waypoint Free Autonomous Systems for Traversability), uses RGB and depth data, along with navigation experience, to autonomously generate traversable paths in outdoor unstructured environments. Our key inspiration is that traction can be estimated for rolling robots using kinodynamic models. Using traction estimates provided by an online receding horizon estimator, we are able to train a traversability prediction neural network in a self-supervised manner, without requiring heuristics utilized by previous methods. We demonstrate the effectiveness of WayFAST through extensive field testing in varying environments, ranging from sandy dry beaches to forest canopies and snow covered grass fields. Our results clearly demonstrate that WayFAST can learn to avoid geometric obstacles as well as untraversable terrain, such as snow, which would be difficult to avoid with sensors that provide only geometric data, such as LiDAR. Furthermore, we show that our training pipeline based on online traction estimates is more data-efficient than other heuristic-based methods.Comment: Project website with code and videos: https://mateusgasparino.com/wayfast-traversability-navigation/ Published in the IEEE Robotics and Automation Letters (RA-L, 2022) Accepted for presentation in the 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2022

Percepção baseada em LiDAR 2D para movimentação autônoma embaixo da folhagem de pequenos robôs terrestres em faixas estreitas de plantações agrícolas

Lightweight ground robots have been increasingly showing their potential to tackle agricultural tasks that require time-consuming human labor thus limited in detail or area coverage. A task that benefits several modern agricultural practices is scouting (walking though the field). However, a reliable autonomous navigation is still a challenge. A robot needs to deal with the agricultural field dynamism and unpredictable obstacles, e.g. humans and machines. In particular, corn and sorghum present an additional issue due to the standard way of cultivation: Narrow sub-meter lanes that become even less visible on later stages due to dense coverage and spreading of leaves. This condition heavily influences the sensors by provoking frequent occlusions, misreadings and other situations out of their working range. In such context, three questions arise: 1) Can the unexplored potential of Light Detection and Ranging (LiDAR) sensor suffice to interpret a narrow lane crop environment without artificial landmarks? 2) Does the search of a best line representation for crop rows really represent the problem? 3) How can lateral distance estimation be improved through sensor fusion? To answer these three questions, Perception LiDAR (PL) has been developed to estimate lateral distance to crop rows using a 2D LiDAR as the core sensor. An Extended Kalman Filter enables the use of embedded odometry and inertial measurements. Manual ground truth has shown that the task of finding best line representation from LiDAR data is challenging, and it could have as low as 54% of line estimates within 0.05 m error. Nonetheless, the proposed method has enabled 72 km of autonomous operation of multiple robots. Due to unreliable RTK-GNSS signal under canopy, PL outputs significantly outperform the GNSS-based positioning, which may not even be in the current lane. The extensive field testing happened in multiple corn and sorghum fields between 2017 and 2020. For continuous lane, i.e. at least one of the side rows exists, the success rate to finish the desired segment of autonomous navigation is 89.76%. The higher performance for LiDAR input with significant less presence of objects other than stalks, and also the failure concentration on sensor occlusion and gaps, both situations with low to none visible rows, strongly indicates that the problem is not best line fitting, but rather a classification one where the end goal is to find stalks. In summary, although PL does not provide a fully intervention-free for within crop rows navigation, its current capabilities relieve operators from the tedious task of manually driving the robot the whole time and pave the way towards a fully autonomous agricultural robot.Robôs terrestres leves têm mostrado crescente potencial em tarefas agrícolas que requerem moroso trabalho humano, portanto, limitadas em detalhes ou abrangência de área. Uma atividade que beneficia várias práticas agrícolas modernas é o monitoramento (caminhando pelo campo). No entanto, uma navegação autônoma confiável continua um desafio. Um robô precisa enfrentar o dinamismo do campo agrícola e obstáculos imprevisíveis, e.g. humanos e máquinas. Em particular, o milho e o sorgo apresentam uma dificuldade adicional devido à forma padrão de cultivo: fileiras espaçadas por menos de um metro de largura que ficam ainda menos visíveis em estágios posteriores devido à densa cobertura e espalhamento das folhas. Tal condição influencia fortemente os sensores, provocando frequentes oclusões, erros de leitura e outras situações fora de sua faixa de trabalho. Nesse contexto, surgem três questões: 1) O potencial inexplorado do sensor LiDAR é suficiente para interpretar um ambiente de cultura de ruas estreitas sem marcos artificiais? 2) A busca da melhor reta para representar fileiras de cultura retrata o problema? 3) Como a estimativa da distância lateral pode ser melhorada através da fusão de sensores? Para responder às três perguntas, Perception LiDAR (PL) foi desenvolvido para estimar a distância lateral às fileiras com um LiDAR 2D como sensor principal. O filtro Kalman estendido permite o uso de odometria e medições inerciais. A aferição manual dos dados mostrou que a tarefa de encontrar a melhor reta a partir dos dados LiDAR é desafiadora e pode ter somente 54% das estimativas com erro inferior a 0,05 m. No entanto, o método proposto permitiu a operação autônoma de vários robôs por 72 km. Devido ao sinal RTK-GNSS ser pouco confiável sob cobertura, as estimativa por PL superam significativamente o posicionamento baseado em GNSS, que pode até indicar que a plataforma está em outra rua. O extenso teste de campo ocorreu em vários campos de milho e sorgo entre 2017 e 2020. Para ruas contínuas, ou seja, existe pelo menos uma das fileiras laterais, a taxa de sucesso para terminar o segmento desejado com navegação autônoma é de 89,76%. O desempenho superior ao remover grande parte de objetos diferentes de caule da leitura do sensor, e também a concentração de falhas nas lacunas e quando há oclusão do sensor, ambas situações com fileiras pouco a não visíveis, indicam que o problema não é o de melhor ajuste de reta, mas sim classificação em que o objetivo final é encontrar caules. Em resumo, embora PL não forneça uma navegação totalmente livre de intervenção entre as fileiras, suas capacidades atuais liberam os operadores da tediosa tarefa de dirigir manualmente o robô o tempo todo e pavimenta o caminho para um robô agrícola totalmente autônomo